Cosby kết hôn với Camille Olivia Hanks ngày 25 tháng 1 năm 1964. Họ có năm người con, Erika, Erinn, Ensa, Evin và Ennis. Người con trai duy nhất của họ, Ennis, bị ám sát ngày 16 tháng 1 năm 1997, trong lúc thay bánh xe tại Interstate 405, Los Angeles. Nhà Cosby có ba người cháu.[8][40]

Cosby là người theo đạo Tin Lành.[41] Ông vẫn ở nhà tại Shelburne, Massachusetts và Cheltenham, Pennsylvania.[42]

Cosby chủ trì Playboy Jazz Festival ở Los Angeles kể từ 1979. Nổi tiếng là tay trống jazz, ông còn có thể chơi guitar bas với Jerry Lewis và Sammy Davis, Jr. trên chương trình của Hugh Hefner vào những năm 1970. Câu chuyện của ông, "The Regular Way", xuất hiện trên Playboy số tháng 12 năm 1968 issu.[43] Cosby trở thành một thành viên tích cực của The Jazz Foundation of America từ năm 2004.[44] Ông chủ trì cho chương trình trong nhiều năm, bao gồm đêm nhạc từ thiện A Great Night in Harlem, diễn ra ở Apollo Theater tại New York.[45][46]